메뉴

#문샷 AI

TC
TechCrunch AI 23일 전
IMP 8

중국 문샷 AI, 오픈소스 수요 폭발에 200억 달러 가치로 20억 달러 유치

중국의 대표적인 오픈소스 AI 스타트업 문샷 AI(Moonshot AI)가 약 20억 달러(약 2조 7천억 원)를 유치하며 기업가치 200억 달러를 달성했습니다. 이는 퍼포먼스 타협을 감수하더라도 저렴한 비용으로 AI를 사용하려는 시장의 오픈소스 모델 수요가 급증했기 때문으로 풀이됩니다. 이번 펀딩은 중국 AI 기업들이 자본 시장에서 고속 성장을 이어가고 있음을 보여주는 핵심 지표로 평가받습니다.

문샷 AI 오픈소스 LLM Kimi
MP
MarkTechPost 41일 전
IMP 8

문샷 AI, 멀티 데이터센터 LLM 서빙 혁신

문샷 AI와 칭화대 연구진이 대규모 언어 모델(LLM)의 추론 방식을 혁신하는 멀티 데이터센터 서빙 아키텍처 'PrfaaS(Prefill-as-a-Service)'를 제안했습니다. 이 아키텍처는 연산 집약적인 프리필(Prefill) 작업을 별도의 클러스터로 분리하고, 하이브리드 어텐션 모델을 통해 크게 감소된 KVCache를 일반 이더넷망으로 전송하여 54% 높은 처리량을 달성합니다.

LLM 서빙 KVCache 분산 아키텍처